برای آنکه گوگل بتواند لینک یک صفحه را در نتایج جستجوهایش به نمایش در آورد پیش از هر چیز باید آن صفحه را شناسایی کرده باشد. گوگل از دو راه می تواند صفحات جدید را شناسایی کند یک راه این است که گوگل هنگام بازدید از یک صفحه تمام لینکهایی که در آن صفحه قرار دارند (در آن صفحه لینک شده اند) را نیز به دایرکتوری خود اضافه کند و سپس با رفتن به هر کدام از آن لینک ها، لینکهای جدیدتر را نیز کشف کند. و به این ترتیب به شیوه ای درختی لینکها به گوگل اضافه می شوند به همین دلیل است که برخی از روبات گوگل با عنوانهایی مانند خزنده ی گوگل یا اسپایدر (عنکبوت) گوگل یاد می کنند.
پس در اینجا می توان به یکی دیگر از اهمیتهای درس قبلی پی برد و هر چه لینکهای داده شده به یک صفحه بیشتر باشد مطمئنا گوگل سریعتر آن صفحه را خواهد یافت. از نکات قابل توجه این است که گوگل از صفحات پر اهمیت تر ( صفحاتی که پیج رنک گوگل بالاتری دارند) در فاصله ی زمانی کمتری بازدید می کند....